Vinicius Guerra e Ribas - Energy Sector Analyst¶

Energy Engineer (UnB) │ Data Scientist and Analytics (USP)

📧 E-mail │ 🎯 Linkedin │ 😸 GitHub¶

🇬🇧 - English

This Jupyter Notebook is a Data Exploration for the purpose of providing the Dashboard Report with the most pertinent information. It first uploads previously treated data and then analyzes it in statistical and visual ways.

This Data Exploration process composes the flow of a data engineering solution developed to provide Brazilian electric generation data in a dashboard type report, prioritizing to be iterative, dynamic and autonomous. Accessible by specialists in a timely manner.

For better understanding, the code has been divided into five parts:

• Data Load:
  • Here, the load_data() function is created to load the data and present its first information, referring to the DataFrame generation date and updates from the Brazilian Electric Energy Agency server.
  • Also in this section the variables created are classified according to their typology and explained (Metadata).

• Categorical Variables Analyses:

  • These analyses were critical, since the vast majority of the variables in this DataFrame are categorical.

  • First the unique values of each categorical variable are checked.

  • These values are then analyzed via an alluvial diagram, enabling a hierarchization of the variables.

• DateTime Analyses:

  • It is known that outliers exist in this data, since in the ETL process null values were replaced by the year "1900".

  • Because of this, the data that does not contain outliers of this type is filtered.

  • Finally, temporal analyses are performed:

    • BOXPLOT: Timeline - Generation Type and Enterprise.
    • HISTOGRAM: Timeline - Phase and Generation Type
    • HEATMAP: Timeline - Type of Generation and Granted Power

• Categorical & Numerical Variables Analyses:

  • Hierarchical Analyses:

    • IcicleChart: Granted Power by Phase, State and Generation Type in Brazil.
    • SunBurstChart: Granted power by Phase, State and Generation type in Brazil.
    • TreeMapChart: Granted Power by Phase, State and Generation type in Brazil.

  • Analysis between variables:

    • BarChart: Granted Power by State, State of Manufacture and Phase.
    • StripChart: Granted Power by State, Generation Type, Phase and Enterprise.
    • 3D-ScatterPlot: Granted power and physical guarantee by Federal Government, Generation Type, Phase and enterprise.
      • For this analysis only the projects with physical guarantees were considered.

• Geographical Variables Analyses*:

  • It is known that there are outliers in this data, since in the ETL process null values were replaced by 0.
  • Because of this, the data that do not contain outliers of this type are filtered.
  • Iterative Cartesian Coordinate Map: Granted Power, Generation Type, Enterprise and Phase.

The detailed step-by-step is presented below.

🇧🇷 - Portuguese

Este Jupyter Notebook é uma Exploração de Dados com o foco em subsidiar o *Relatório em Dashboard com as informações mais pertinentes. Primeiro são carregados dados previamente tratados e para depois os analisar de formas estatísticas e visuais.

Esta Exploração de Dados compõe o fluxo da solução em engenharia de dados desenvolvida para apresentar dados de geração do setor elétrico brasileiro em um relatório do tipo dashboard, priorizando ser iterativo, dinâmico e autônomo. Acessível por especialistas de forma tempestiva.

Para melhor compreensão, o código foi dividido em cinco partes:

• Data Load:
  • Aqui, é criada a função load_data() para carregar os dados e apresentar suas primeiras informações, referentes à data de geração do DataFrame e atualizações do servidor da Agência Nacional de Energia Elétrica.
  • Também nesta seção as variáveis criadas são classificadas de acordo com sua tipologia e explicadas(Metadados).

• Categorical Variables Analyses:

  • Estas análises foram fundamentais, uma vez que a grande maioria das variáveis deste DataFrame são categóricas.

  • Primeiro são verificados os valores únicos de cada variável categórica.

  • Estes valores são então analizados via diagrama aluvial, possibilitando uma hierarquização das variáveis.

• DateTime Analyses:

  • Sabe-se que existem outliers nestes dados, uma vez que no processo de ETL valores nulos foram substituídos pelo ano "1900".

  • Por conta disso, filtram-se os dados que não contém outliers deste tipo.

  • Por fim, são realizadas análises temporais:

    • BOXPLOT: Linha do tempo - Tipo de Geração e Empreendimento.
    • HISTOGRAM: Linha do Tempo - Fase e Tipo de Geração.
    • HEATMAP: Linha do Tempo - Tipo de Geração e Potência Outorgada.

• Categorical & Numerical Variables Analyses:

  • Análises Hierarquicas:

    • IcicleChart: Potência Outorgada por Fase, UF e tipo de Geração no Brasil.
    • SunBurstChart: Potência Outorgada por Fase, UF e tipo de Geração no Brasil.
    • TreeMapChart: Potência Outorgada por Fase, UF e tipo de Geração no Brasil.

  • Análises entre variáveis:

    • BarChart: Potência Outorgada por UF, Tipo de Geração e Fase.
    • StripChart:Potência Outorgada por UF, Tipo de Geração, Fase e Empreendimento.
    • 3D-ScatterPlot: Potência Outorgada e Garantia Física por UF, Tipo de Geração,Fase e Empreendimento.
      • Para esta Análise foram considerados apenas os empreendimentos com Garantia Física.

• Geographical Variables Analyses:

  • Sabe-se que existem outliers nestes dados, uma vez que no processo de ETL valores nulos foram substituídos por 0.
  • Por conta disso, filtram-se os dados que não contém outliers deste tipo.
  • Mapa Iterativo de Coordenadas Cartesianas: Potência Outorgada, Tipo de Geração, Empreendimento e Fase.

O passo a passo detalhado é apresentado abaixo, em inglês.

Data Load¶

Categorical Variables Analyses¶

DateTime Analyses¶

BOXPLOT: Timeline - Type of Generation and Business¶